面部3D形态模型是无数应用程序的主要计算机视觉主题,并且在过去二十年中已得到高度优化。深层生成网络的巨大改进创造了改善此类模型的各种可能性,并引起了广泛的兴趣。此外,神经辐射领域的最新进展正在彻底改变已知场景的新颖视图综合。在这项工作中,我们提出了一个面部3D形态模型,该模型利用了上述两者,并且可以准确地对受试者的身份,姿势和表达进行建模,并以任意照明形式呈现。这是通过利用强大的基于风格的发电机来克服神经辐射场的两个主要弱点,即它们的刚度和渲染速度来实现的。我们介绍了一个基于样式的生成网络,该网络在一个通过中综合了全部,并且仅在神经辐射场的所需渲染样品中构成。我们创建了一个庞大的标记为面部渲染的合成数据集,并在这些数据上训练网络,以便它可以准确地建模并推广到面部身份,姿势和外观。最后,我们表明该模型可以准确地适合“野外”的任意姿势和照明的面部图像,提取面部特征,并用于在可控条件下重新呈现面部。
translated by 谷歌翻译